|
12.10.2026
10:30 Uhr
|
Lokale KI scheitert oft an einer Websuche. Unsere Methode ist deutlich zuverlässiger, braucht keine Cloud eines KI-Anbieters und nutzt fast nur Open Source.
Jedes Sprachmodell (LLM) hat einen sogenannten Knowledge Cutoff, also ein fixes Datum, bis zu dem seine Trainingsdaten reichen. Ereignisse und Entwicklungen danach kann es ohne zusätzliche Quellen nicht zuverlässig einordnen. Bei Anthropics Claude Opus 5.5 liegt dieser Stichtag im Juni 2026, bei Googles Modell mit offenen Gewichten Gemma 4 im Januar 2025. Bei kommerziellen Frontier-Modellen, etwa von Anthropic und OpenAI, ist diese Wissenslücke weniger spürbar: Die zugehörigen Dienste können bei Bedarf selbstständig aktuelle Informationen im Internet recherchieren und in Antworten einbeziehen. Das funktioniert in vielen Fällen bereits zuverlässig. Open-Weight-Modelle lassen sich ebenfalls mit einer Websuche verbinden. In der Praxis führen ihre Rechercheergebnisse jedoch häufig zu falschen und unvollständigen Aussagen.
Unsere Methode reichert lokale Modelle deutlich zuverlässiger mit Wissen aus dem Internet an. Für die Websuche benötigt der Ansatz weder Konten noch API-Schlüssel bei externen Anbietern. Sie als Nutzer bestimmen selbst, welche Suchmaschinen abgefragt werden. Ihre Nachricht und die Antwort des Modells bleiben auf Ihrem Rechner; nach außen gehen nur die Suchbegriffe und die Abrufe der Webseiten.
Im Folgenden erklären wir, weshalb lokale LLMs bei der Internetrecherche häufig scheitern – und wie sich das Problem mit unserem Ansatz lösen lässt. Dazu brauchen Sie, von einer kleinen Ausnahme (OrbStack) abgesehen, ausschließlich Open-Source-Software. Das benutzte Sprachmodell Gemma 4 steht zwar unter der Apache-2.0-Lizenz, ist nach der Definition der Open Source Initiative aber keine vollständig offene KI, sondern ein „Open-Weights“-Modell: Google veröffentlicht die Gewichte, legt Trainingsdaten und -code aber nicht offen.